python循环抓取网页 用python抓取网页数据

爬取数据的两种方法 : 方法 1 : 使用 requests.get() 方法，然后再解码，接着 调用 BeautifulSoup API

首先看 headers 获取方法 :

点击进入任意一个网页页面，按F12进入开发者模式，点击Network再刷新网页。在Network下的Name中任意点击一个资源，在右侧的Headers版块中下拉到最后，可以看见Request Headers参数列表最后有一个user-agent，其内容就是我们要找的浏览器headers参数值。

然后通过查找 html 源码来 find 指定内容 。利用 find_all() 方法 和 tag.find() 方法

方法2 : 调用 Request() 方法，并进行 urlopen() , decode 操作，最后用 BeautifulSoup() 方法，这样对 html 解析完毕， 接着用 .select() 方法查找 html 代码中的指定内容 。

其实两种方法对于 html 的解析都是固定操作，关键在于 查找 html 的指定内容该如何查找。

首先使用F12对当前页面进行解析，如图所示 :

接着点击左上角的元素检查按钮，即 :

然后再点击想要 爬取的网页内容， 就可以找到 其所在 html 源码中的位置 :

比如我这里的位置是在 pre 里面

紧接着右击 pre 栏，选择复制 selector ， 就可以看见所找内容对应的 html 地址 : 我这里的为

#main-panel > pre:nth-child(11)

这里的关键信息就是 > 之后的内容 和 : 之前的内容 。如果有 多个 > 的话，就把多个 > 的信息列出来即可，比如 :

#group-topics > div:nth-child(2) > table > tbody > tr:nth-child(5) > td.title > a

那么就需要提取 tr td.title a 作为关键信息即可。

找出关键信息后，在方法 2 中的 .select() 中填入关键信息即可，注意关键信息用 ’ ’ 包起来 。

下面请看源码 :